We introduce 3inGAN, an unconditional 3D generative model trained from 2D images of a single self-similar 3D scene. Such a model can be used to produce 3D "remixes" of a given scene, by mapping spatial latent codes into a 3D volumetric representation, which can subsequently be rendered from arbitrary views using physically based volume rendering. By construction, the generated scenes remain view-consistent across arbitrary camera configurations, without any flickering or spatio-temporal artifacts. During training, we employ a combination of 2D, obtained through differentiable volume tracing, and 3D Generative Adversarial Network (GAN) losses, across multiple scales, enforcing realism on both its 3D structure and the 2D renderings. We show results on semi-stochastic scenes of varying scale and complexity, obtained from real and synthetic sources. We demonstrate, for the first time, the feasibility of learning plausible view-consistent 3D scene variations from a single exemplar scene and provide qualitative and quantitative comparisons against recent related methods.
translated by 谷歌翻译
动画字符上的现实动态服装具有许多AR/VR应用程序。在创作这种动态服装几何形状仍然是一项具有挑战性的任务时,数据驱动的模拟提供了一个有吸引力的替代方案,尤其是如果可以简单地使用基础字符的运动来控制它。在这项工作中,我们专注于动态3D服装,尤其是对于松散的服装。在数据驱动的设置中,我们首先学习了合理服装几何形状的生成空间。然后,我们学会了对该空间的映射,以捕获运动依赖的动态变形,该变形在服装的先前状态以及相对于基础体的相对位置为条件。从技术上讲,我们通过在服装的规范状态下预测富含框架依赖的皮肤重量的服装状态下的人均局部位移来对服装动力学进行建模,从而将服装带入全球空间。我们通过预测剩余的局部位移来解决所有剩余的人均碰撞。所得的服装几何形状被用作历史记录,以实现迭代推出预测。我们证明了对看不见的身体形状和运动输入的合理概括,并在多个最新的替代方案中显示出改进。
translated by 谷歌翻译
神经表示是表示形状的流行,因为它们可以学习形式传感器数据,并用于数据清理,模型完成,形状编辑和形状合成。当前的神经表示形式可以归类为对单个对象实例的过度拟合或表示对象集合。但是,都不允许对神经场景表示的准确编辑:一方面,过度拟合对象实现高度准确的重建的方法,但不能推广到看不见的对象配置,因此无法支持编辑;另一方面,代表具有变化的对象家族的方法确实概括了,但仅产生近似重建。我们建议Neuform使用最适合每个形状区域的一个:可靠数据的过拟合表示,以及可靠的可用数据以及其他任何地方的可推广表示形式,以适应过度拟合和可推广表示的优势。我们通过精心设计的体系结构和一种将两个表示网络权重融合在一起的方法,避免接缝和其他工件。我们展示了成功重新配置人类设计的形状的部分,例如椅子,表和灯,同时保留语义完整性和过度拟合形状表示的准确性。我们与两个最先进的竞争对手进行了比较,并在合理性和结果编辑的忠诚度方面取得了明显的改善。
translated by 谷歌翻译
Stylegan的成功使得在合成和真实图像上启用了前所未有的语义编辑能力。然而,这种编辑操作要么是使用人类指导的语义监督或描述的培训。在另一个开发中,剪辑架构已被互联网级图像和文本配对培训,并且已被示出在几个零拍摄学习设置中有用。在这项工作中,我们调查了如何有效地链接样式登录和剪辑的预训练潜空间,这反过来允许我们从Stylegan,查找和命名有意义的编辑操作自动提取语义标记的编辑方向,而无需任何额外的人类指导。从技术上讲,我们提出了两块新颖的建筑块;一个用于查找有趣的夹子方向,一个用于在CLIP潜在空间中标记任意方向。安装程序不假设任何预定的标签,因此我们不需要任何其他监督文本/属性来构建编辑框架。我们评估所提出的方法的有效性,并证明了解标记标记的样式编辑方向的提取确实可能,并揭示了有趣和非琐碎的编辑方向。
translated by 谷歌翻译
在运动中的运动中综合动态外观在诸如AR / VR和视频编辑的应用中起着核心作用。虽然已经提出了最近的许多方法来解决这个问题,但处理具有复杂纹理和高动态运动的松散服装仍然仍然具有挑战性。在本文中,我们提出了一种基于视频的外观综合方法,可以解决此类挑战,并为之前尚未显示的野外视频的高质量结果。具体而言,我们采用基于样式的基于STYLEGAN的架构,对基于人的特定视频的运动retrargeting的任务。我们介绍了一种新的运动签名,用于调制发电机权重以捕获动态外观变化以及正规化基于帧的姿势估计以提高时间一致性。我们在一组具有挑战性的视频上评估我们的方法,并表明我们的方法可以定性和定量地实现最先进的性能。
translated by 谷歌翻译
字体遍布文档普遍存在,有各种风格。它们以本机向量格式表示或光栅化以产生固定分辨率图像。在第一种情况下,非标准表示可防止受益于最新网络架构进行神经表示;虽然在后一种情况下,在通过网络编码时,光栅化表示导致数据保真度丢失,作为像边缘和角落的字体特定的不连续性难以使用神经网络代表。基于观察到复杂字体可以通过一组更简单的占用函数的叠加来表示,我们介绍\ texit {multi-inclicicits}以将字体表示为置换不变集的学习隐含功能,而不会丢失特征(例如,棱角)。然而,虽然多种含义本地保护字体特征,但以地面真理多通道信号的形式获得监控是本身的问题。相反,我们提出了如何只用本地监督培训这种表示,而建议的神经架构直接发现字体系列的全球一致的多型多种含义。我们广泛地评估了各种任务的建议代表,包括重建,插值和综合,以证明具有现有替代品的明显优势。另外,表示自然地启用字形完成,其中单个特征字体用于在目标样式中综合整个字体系列。
translated by 谷歌翻译
虽然牛顿力学的基本规律得到了很好的理解,但是解释了物理场景仍然需要用合适的方程式制造问题并估计相关参数。为了能够利用人工智能技术在这种物理相关的背景下利用近似能力,研究人员已经手工制作了相关状态,然后使用神经网络来学习使用模拟运行作为训练数据的状态转换。遗憾的是,这种方法不适合建模复杂的现实情景,在手动创作相关的状态空间往往是乏味和挑战性的。在这项工作中,我们研究了神经网络是否可以基于视觉数据隐含地学习现实世界机械过程的物理状态,而在内部建模非均匀环境中,并且在该过程中可以实现长期物理推断。我们为此任务开发了经常性的神经网络架构,并且还以不断变化的方差估计的形式表征了结果的不确定性。我们评估我们的设置,以推断在不同形状和方向的碗上的滚珠球运动,以及仅使用图像作为输入的任意高度场。我们在对预测的准确性和情景复杂性方面,我们报告了对现有的基于图像的方法的显着改进;并报告与我们不同的方法,竞争性能与我们不同,承担进入内部物理状态。
translated by 谷歌翻译
In large-scale machine learning, recent works have studied the effects of compressing gradients in stochastic optimization in order to alleviate the communication bottleneck. These works have collectively revealed that stochastic gradient descent (SGD) is robust to structured perturbations such as quantization, sparsification, and delays. Perhaps surprisingly, despite the surge of interest in large-scale, multi-agent reinforcement learning, almost nothing is known about the analogous question: Are common reinforcement learning (RL) algorithms also robust to similar perturbations? In this paper, we investigate this question by studying a variant of the classical temporal difference (TD) learning algorithm with a perturbed update direction, where a general compression operator is used to model the perturbation. Our main technical contribution is to show that compressed TD algorithms, coupled with an error-feedback mechanism used widely in optimization, exhibit the same non-asymptotic theoretical guarantees as their SGD counterparts. We then extend our results significantly to nonlinear stochastic approximation algorithms and multi-agent settings. In particular, we prove that for multi-agent TD learning, one can achieve linear convergence speedups in the number of agents while communicating just $\tilde{O}(1)$ bits per agent at each time step. Our work is the first to provide finite-time results in RL that account for general compression operators and error-feedback in tandem with linear function approximation and Markovian sampling. Our analysis hinges on studying the drift of a novel Lyapunov function that captures the dynamics of a memory variable introduced by error feedback.
translated by 谷歌翻译
The devastation caused by the coronavirus pandemic makes it imperative to design automated techniques for a fast and accurate detection. We propose a novel non-invasive tool, using deep learning and imaging, for delineating COVID-19 infection in lungs. The Ensembling Attention-based Multi-scaled Convolution network (EAMC), employing Leave-One-Patient-Out (LOPO) training, exhibits high sensitivity and precision in outlining infected regions along with assessment of severity. The Attention module combines contextual with local information, at multiple scales, for accurate segmentation. Ensemble learning integrates heterogeneity of decision through different base classifiers. The superiority of EAMC, even with severe class imbalance, is established through comparison with existing state-of-the-art learning models over four publicly-available COVID-19 datasets. The results are suggestive of the relevance of deep learning in providing assistive intelligence to medical practitioners, when they are overburdened with patients as in pandemics. Its clinical significance lies in its unprecedented scope in providing low-cost decision-making for patients lacking specialized healthcare at remote locations.
translated by 谷歌翻译